> 


는 


>, 견 = 
~ 1(605 년 
호 2 노 |[- 
릿지 / 
내 "^ 타 것 
에 3602 쓸 쿠 키 들의 < 부 그은 대작전! 


아마존 클 라 우 드 와 함께한 1 개 월 


쿠 키 런 사 례 중 심 (00 2013 [ ㅁ 065156605 ㅇ 01 ㅁ . 
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자 소개 


가 ㅇ 
< ㄴㄴ 
성진 ( ㅎ 4119]!1110110@06\61616『8.0 ㅇ 017) 
과 학사 
턴 , 구글 코리아 
질 향상: 11[6://81151!316.900016.0017 
| 시드 클 라 이 언 트 / 서 버 개발: 16 ://6660.\6013/. ㅇ ㅇ 017 


1) 2 ~ 


24167 
트 웨 어 엔지니어링 인 
한 - 영 번역 


계 기 계 번 역 팀 


동 
어 소프트웨어 엔지니어, 위 클 레이 


@ 
* 테크니컬 리드, 데 브 시스터즈 
쿠 키 런 [0 히 30, 01601 ㅁ 1[2『6080「 2 서버 개발 

2 


아마존 웹 서비스 


^\/ 은 를 사 용 하 게 된 계기 


2013 년 초 데 브 시 스 터 즈 


* 서버 개발자 2 명 , 시스템 엔지니어 0 명 
@ 한 분 은 쿠 키 런 출시 전 전직 예정! 혼자 개 발 / 관 리 해 아 함 
@ 2013 년 초 ()1611[2『689『< 2 출 시 로 일정 성 과 를 냄 


* 한 명이 한 달 만 에 구 현 한 서버 


" 
ㄷ 
띠 
0 
애 
[ 오 
띠 
= 


* 북미 ^005 를 사용, 현지 서 버 가 필 요 했 


= 


* 쿠 키 런 은 서 버 는 어떻게 할 것인가? 
* 서 버 는 어떻게 구현? 046010「68( 2 서 버 를 재활용! 


* 한 국 에 서 비 스 하려면 서 버 는 어디에 둘 까 ? 


06\\5151 타 5 


2005 선 택 의 이유 60515 


* 애 로 사 항 이 꽃 피는 100 입주 및 서 버 구입 
* 100 는 어디로? 서 버 는 어느 밴더? 


* 2101, 서버 설치, 네트워크 구 축 할 시 간 과 인력 부족 


&\5 선 택 의 이유 (2) 


06\\5151 타 5 


* 회 사 가 이미 4\/ ㅇ 를 사용 

* 서버 개발자 한 명 이 관 리 할 수 있는 서버 환경 
@ 시기 및 원 격 으 로 모든 시스템 관리 가능 

* 단순 !385 라고 볼 수 없는 다양한 서비스 제공 
* ㄷ 65, 4141, 3410 5 ㅇ 081109, 6, 53, "3 041653, (104 아 000, 5205, 
@ 모든 서 비 스 는 씨로 제 어 가 가능 

* &045 의 다양한 서 비 스 와 조 합 하면 훨씬 더 큰 부 가 가 치 를 얻을 


@ 특히 4410 5081149, 668, 53 등 이 매력적 


웨 서 비스 
아마존 웹 서 비 


&\0/9 의 간단한 소개 


&\/6 의 간단 소개 


06\\5151 타 5 


* 웹 서비스 (466 56106) - 인 프 라 (컴퓨터, 스토리지 등 ) 을 객 체 처럼 다룬다 
* 401 (&41071392011 1013 아 11706 17896 ) - 디스크 스 냄 삿 ; (01966 
@ 인스턴스 (|10613006) - ^&41 를 부 팅 한 가 상 머 신 ; 0[0]60(!061391106) 이 ㅅ ^ ㅅ 41 
@ ㄷ ㅁ Ｌ ㄴ 8 ( 티 3616 Ｌ ㄴ 080 82 키 37 ㅇ 6) - 로 드 밸 런 서 36 0[0]60 
* ㄷ 2 ㅇ 68 ( 티 361 ㅇ 0 86100 5106) - 주 상 화 된 449 디스크; 216 35 020[0]6 ㅇ 0 
3 (5101[0!6 5108396 561106) - 주 상 화 된 파일 스토리지; 『116 35 02010] 6 ㅇ 1 


* 모든 서 비 스 는 씨를 통해서 다룰 수 있다 


* 요즘 대 부 분 이 사 용 하는 076! ( ㅇ 05016 은 원래 없 었 음 


>>> 41001" [00 
>>> 1001" 1116 
>>> 53 = [600.001111060+_53( ) 


# (.『60 ㄴ 6 0 1606 10401<6. 0401<65 0045 110\6 0 0100011\ 나 11046 10116 
>>> 60401<6 = 53. 야 606_04 디 <6( '(00-0600' ) 


# (.『60116 0 [60 1(60\/\0146 [0010 . 
>>> 6" = 04016 .0760\0 1657 01657 ' ) 
>>> 6. 56_0017600【『5_[「00_5 타 1790.61 10 \6010! ") 


# 5166[ 0 60546 나 16 000 15 @6\60114011\ 나 1606. 
>>> 116.51600(2) 


# 『6 ㄴ 『 ㅁ 16\6 나 6 6017 ㄴ 605 0 -0 비 697), 
>>> 00111 1<@6\.06_001105_05_5111110( ) 
다 6116 \0010!'" 


# $04『1Ｌ 타 2: //(<06-06000 . 53 . 041020110005 . 0014/10\<@\ 
# 11616 \0『'10! 


오 


쿠 키 런 의 서 버 구조 


출시 때 준비한 서버 구조 소개 


출시 전 준 비 사항 ㅁ ㅁ /55 ㅁ 5 


핵심 주안점: 최대한 자 동 화 된 서버 인프라 
(63104 아 0003110171, (271 아 , (|[ 을 통하여 서 버 의 설 정 을 소 스 코 드 처럼 관 리 하 자 
@ 서버 구조 문서화 및 배 포 를 따로 × 


『Ｌ ㄴ 83, 441 ㅇ 5 ㅇ 81109 을 꼭 써 보 자 : 손 으로 일일이 서 버 를 증 가 시 키기 × 


[1 으 
01 
[~ 
0 비 

닌 
므 
>× 


53 를 사 용 하 여 게임 데 이 터 를 제 공 하자: 웹 서버 구축 및 파 


모 니 터 링 은 확 실 하게 하자: 직접 서비스 모니터링 × 


- ㄱ 


조 / 수 브 트 웨어 스택 06\51516 ㄷ 05 


* 메인 씨 서버 

* 0403\83, 52009 140'\06, 0411 ㅁ 63116, 41451 5.5 

01708 6.0, 2[ ㅁ 68 아 16 2.2 (0000 ]<), 니 [0414 니 04× 13.04 
* 66148, 게임 데이터 관리 서비스 

@|[2\ 타 1017, 니 790, 01 ㅇ 
* 서비스 모니터링 


* (>1040\\/310, 5 비 5, 24910×, 513150, (63[217116 
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1066006 ㄷ 
해 | ) 
08 3『 다 1465 『36 다 165 & (93016 10202 7 
본 
53 64066 62: 50000 59 
106116 62076 456 
쓰 \21126011167 20076 ㅣ 쓰 \2112011167 2010760- 그 
5 8: ~  … 메 … /0 -… '-…  …. ㆍ -0 … <……'  ~ ' 패 -… 0 ㅣ ~ 0 때 ~ = ~ 때 에 8. 제 ~ 분 
207 & 6016 00. 62076 & 50920 타 00 ㅁ 06-200 ㅁ 0 82112 520『\162 
터 2028 ㅇ 17606 터 017160 러 178 
1 | 쓰 460-5021108 ㅣ 
이 000 


고 000 주 때 
~ ㅣ | ] 008 


(2104 아 00003000 


토 


010040\02000 
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* 미 미 했던 시작, 얼마나 성 장 할 까 ? 


90,000 


른 마케팅 없이 시작 


별 다 


* 카 카 오 톡 테 마 가 유일 


= 
래 - 
[~ 
~0 


45,000 


＊ 서버 부 하 는 버틸 


22,500 


24:00 


9:00 


15 


고군 06\\5151 타 5 


* 산 술 증 가 가 아닌 기 하 급수적 증가 


* ㅁ &4 도 마찬가지로 증가 
1,500,000 

* 4 일 째 부터 주기적 서버 장애 
1,125,000 
750,000 


375,000 
* 44160 5081109 최대 100 대 까지 


4/| 4/2 4/3 4/4 4/5 4/6 4/7 


: 0” 
조기 장애 원인 05505 


0 아 22 08 


08 3『 다 1465 『36 다 165 & (93016 10202 


53 64066 62: 50000 59 


1106116 (93076 456『 


쓰 \21126011167 20076 ㅣ 쓰 \2112011167 2010760- 그 


가느 자아 자 자파 = = 0 = = = = = 져라 시 = = = = == = = = 
쓰 0016 / 6 ㅎ 00816 『451 62006 & 50902 타 006-200 82107120 52『 버 162 | 0000 ]< [00108 131141@ 
590 버 0@ 터 01160117 유 2.07009_ 000×> 131| 나 [ ㅇ 
: 1 7 | 0.4 때 ㅜ 3.10107026]'14 0041 


4.50『108 "17562 ㅇ 01006004010 ㅁ ㅇ 01108 
5.06( ㄴ 141 [64511 56「\6『 0 ㅁ 10604 
6.666... 


800 
1! < 개 - 리 ! 

' | ㅣ 00 겨 ' 

| | | 

멸시 


| 
| 008 
| 


| . 버 2966『「 105027006@ 31141@ 
2.51276 1050620060 321141@ 
3.[『321「"20716668『 0 ㅁ 『0016005 (다, .…) 
4.702 타 0720620 [02『"012121775 


조기 장애 회고 00555 


* 장 애 는 위 ( 서 버 ) 에 서부터 발 생 하 고 문 제 를 해 결 해 나가면 아 래 ( 데 이 터 베 이 스 ) 쪽 으 
로 문 제 가 점점 이 동 한 다 


* 41006 5 ㅁ 046106558 54[00 ㅁ 0 에 가 입 하라 
* ㄷ 791066「『 에 따 라 서 는 4\\/9 외 적인 문제 디 버 깅 도 도 와 준다 ( 단 , 영어) 


* 생소한 클라우드 환 경 에서 문제 발생시 훌륭한 동 반 자 가 되 어 줌 


ㄴㄴ 


2| 자 ㅅ ^ 으 
장 애 의 핵 심 적 인 원인  650515055 


* 순수한 데이터베이스 부하 


* 게임 시작 및 게임 플레이 정산 부 하 로 데이터베이스 쓰기 폭주 


@ (<>1160<[ ㄷ 60101 406 문 제 로 쓰 루 풋 급 락 이후 장애 


* 생명 보내기 기능 
* 매 시 간 마다 명의 사 용 자 가 / 명 의 사 용 자 에게 생 명 을 "받고 보내기” 
@ 최대 3^24*\*\\ 의 데 이 터 로 데이터베이스 엔트리 급 격 하 게 증가 

* 1/601Ｌ ㅁ ㄷ ㄴ ㄷ ㄷ 문 의 테이블 락 으로 성능 저하 


* 데이터 삭 제 를 하지 않으니 데 이 터 가 무한정 쌓 임 


장애 해결 


* 데이터베이스 샤 딩 을 


결 을 위한 조기 시도 
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알 아 보 았 으나 이미 401 이 나 데이터 종 속 이 심 함 
급하게 '054Ｌ 솔 루 션 을 


22 그 ^ 


알 아 보 기 시작 
319(<: 사용 경 험 이 있으나 쓰 루 풋 이 낮음 (^ ㅁ ) 


(》>64 아 12356: 성 능 은 좋 아 보이나 이 상용 버 전 을 써 야 할 것 


같다 (2) 
『6018: 사 용 하기 쉽 쉽고 쓰 루 풋 도 높 ㄷ 


고 관 리 하기 높다 (25 아 0[06/5) 


능 을 ㅁ 6018 로 마이그레이션 


20 


조기 서 버 구 조 회 고 (1) 


06\5151 타 5 


* (21040\/31011, 515, 28910101×, 518150 + (3【『 히 가 7116 의 모니터링 조합 


< 2 - ㄴ 변 
* 초기 서 버 구조 선택 중에 가장 탁월한 선택: 장 애 / 성 능 문제 판 단 에 큰 도 


@ 메소드 호 출 빈도, |68 ㅇ @Ｌ, 게임 내 경제 (코인 생 성 / 소 멸 


년 
노 
[( 섰 
고 
ㅁ 
드 
고 
배 


(= 


@110160(+1011119406 ㅇ 65 = "") 
040116 1010 @0『0 ㅇ 0110(1170 1016412@『00560, 111 01041, 51110 _[『01111167 ㅇ 2) 


5050 1161 ㅁ 0 . 170『0 00160 (' 5 느 0 느 . 9/＊/ 느 060 [0 107 _6 ㅇ 00060 _ ㅇ 011" , ㅇ 0 마 60012; 


6【3[5,.0041116「5,00110.064\515[601「5,.08106.0461712.5610106, ㄷ 0017010115610106.*,12 리 265,110161「5,.0010.064515【601「5.08176,.046112.5610106, ㄷ 00171010\5610106.*,40 ㅁ 0 ㅎ 「 59 
750.0 100.0 


625.0 


500.0| 


20:00 2100 20 2 0000 01:00 2000 2100 22:00 23:00 00:00 01:00 


하 카 5.1177615.00177. ㅁ .06\515615.921776.014\617 고 .561「\106. ㄷ 001701774156「106.6231「17 ㄷ 0117.412126「_90 
3「170617.1「 카 ㄷ 아 라 5.61177615.00177.06\515【『615.931776.01617 그 . { 56@『 보 
103 져 베 하 카 5.21177615.00177.064\5156015. 90016. 0\617 고 . 


하 라 5.0041 가 215.00177.061\515【『615.921776. 
하 카 5.00417615.00177.06\515【『61「5.921776. 
하 5.00 내 1 가 615.00177.06\515【615.921776.0\6 


.62「17160 ㅎ 177.412126「_90 


17 고 .56「\06. .600 017017756「\106.510617006 6177.「 카 트 


.50 
하 라 5.6177615.00177.06\515【61「5.921776. 7 고 .56『「 퀴 06. .600 017017756「\106.5106170066 6=177.412126「_90 
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조 7 서 버 구 조 회고 ( 2) 06\5151 타 5 


* ㅁ ㄷ (22 4410 5081109 으로 4 기 서 버 의 확장 문제 해결 
*@ 줄 시 전 \5 의 !75130 ㅁ ㅇㅇ 니 111 을 미리 올 려 놓 을 것 (기본 20 대 ) 
@ 개별 인 스 턴 스 의 2? 사 용 률 은 60% 이 하 로 유 지 가 안정적 


@ 평균 +? 사용량 2 분 동안 60% 이상 - 인스턴스 2 대 증가 


동안 80% 이상 ㄱ 인스턴스 2 대 증가 


이 
110 


최대 <? 사용량 2 
* 미리 11 를 빌 드 하 여 인스턴스 부 팅 부터 서비스 시 간 을 1 분 이 하 로 줄 여 놓을 것 


* 171.10601417, 1771.1706, 171 .×<1 카 06, 01 .×<13706 순 으 로 인스턴스 변경 


* 인 스 턴 스 는 최대 200 대 이 하 로 유지할 것 (그 이 상 은 유 지 관리 비효율적) 


22 


현 쿠 키 런 서버 구조 


요 서비스 및 데이터베이스 사용 경험담 


(= 06\5151 타 5 


@ 실시간 로그 검 색 / 분 석 - [0081839, 티 3610656@ 하 야 1, 11918 


@ Ｌ ㄴ 0061351 로 로 그 를 집 계 하여 53 에 저장 (200(383/08\) 


@ 대용량 푸 시 서 비스 -/100, 06101 
@  (2>04 아 [:356 - 생명 우편함 등 의 대용량 소셜 정보 
@ 가장 골 치 거 리 였 던 생명 우 편 함 을 \+5@Ｌ 에 서 <04 아 10856 모 마이그레이션 


@ ㅁ 6015 의 메모리 한 계 로 점차 ㅇ 04 아 110356 로 마이그레이션 중 


24 


06\\5151 타 5 


(21604 애 7000 
6086 


다 0 1066006 ㄷ 
08 3『 다 1165 『30 다 165 & 0923016 ㅁ 2202 
= 이 
53 6401<666 (0104 아 700 ㅁ 0\ 미 020 0 아 
21507646000 106116 (63106 456『 
쓰 21126011167 20170 | 쓰 2112601116> 20170- 그 

쓰 0016 / 6 ㅎ 00812 Ｌ08 5@2 라 다 (『021- 

『 ㅁ 4511 50160 20706) 타 006-200 82172 520『\162 


007 & 예 0017. 62170 요 520 
터 2028617617< 터 0116010 유 ㅁ 2626250 8040 
, 두 | 


(2104 아 00003000 


11010 | 을 
1 20202 그 그 그 0 00 | ~ 


~ | 62 「6015 105620 ㅇ 6 


| | ! 
ㅁ ㄷ ㅎ 68: 8 - 
| 


(<01040'\020 다 


이 ~… ㄴ … 


* ㄷ ㄴ 6 는 정말 무한한 확장 가능, 안정성 문제 단 한번도 없 
20410 5081109 | 
* 요 0816 04 임 계 치를 잘 설 정 하 는 것 이 중요 (3 개 월 정도 튜닝 소요) | 


@ 장애가 일어난 노 드 를 알아서 대 체 함 


4 쏘 니니 


가 1175《2176205 \5. ㄷ 7 티 니 티 122 지 00 
26 


쓰 바 은 53, (10 니 이 7『00 튼 00000 660515065 


* 53, &\05 서비스 중에서 단연 최고의 서비스 


@ 정 적 인 파 일 저 장 및 제 공 은 83 와 (23104 아 [071 (202 으 로 모두 해결 가능 
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2\5 61102 


06\5151 타 5 


*  [1612110810017, 28006 등 을 알아서 관 리 해 주는 매우 편리한 서비스 
@ 온라인 상 태 에 서 데이터베이스 사양 90316-4\3 가능 
@ 온라인 상 태 에서 120[?8 증가 가능 (\4|/3× 30,000 120?) 
* 하지만 사양 변 경 은 꼭 테스트 후에, 가 능 하 면 새벽 시 간 에 할 것 
* 하 드 웨 어 / 소 프 트 웨어 장 애 를 대 비 하여 411-^2 옵션 필수적 


『/1|/5@Ｌ 5.5 의 경우 )13816『『8 리 1016『 시 51316 『[1621108 가 깨지는 경 우 가 발생 


그 = 


* 1005 \4+500Ｌ 5.6 에 서 해결 
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@ 설 치 하 기 쉽 수 ! 기 고 쓰기 간편. 쓰 기 성 능 도 매우 훌륭 

* 데 이 터 구 조 를 많이 지 원 하 기 때문에 [6806『 ㅁ ㅇ 8「0 등 개발 시 매우 편리 
* 하지만 |/5Ｌ 과 마찬가지로 부하 증 가 시 수동 샤 딩 등 의 방 법 을 고 안 해 야 
* 메 모 리 를 넘어서는 데 이 터 에 대해서는 답 이 없음 

* 성능 유 지 를 위해서는 많은 신 경 을 써 야 함 


* 『01<Ｌ ㄴ 816700> 가 메 모 리 를 많 이 쓸 수 록 증 가 하므로 마 스 터 에서는 하면 안됨 


* 최근 디 361(68076 가 지 원 하 기 시작 
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&\5 와 ! ㅁ 0 ㅇ 의 가격 비교 


정말 ^&\\6 는 저렴한 것일까? 


비용 측 면 에 서 의 5  [ ㄷ ㄷ /5565 


*@ 단순 서 버 16 ㄷ 02 비 교 의 경우 ㅁ 656 ㅁ 460 10613006 를 꼭 고려해야 


* 로 드 밸 런 서 , 방화벽, 운영체제 설치 및 설 정 은? 
* 고 가 용성 정적 파일 호 스 팅 을 구 현 하는 비용 (0 ㅁ 4 계약?) 


@ 데이터베이스 관 리 는 누가? (66[2!1160310 ㅁ 0, 8040, "4 0101100109 ) 
* 필 요 시 바로 서 버 를 이용할 수 있다는 것 4 2 주 이상 기 다 려 야 한다는 것 
@ (> 히 26× 158 020[66×: 운 영 비 용 과 자 산 비 용 의 차이 


＊ 혼자 서 버 를 관 리 한다면 어 떤 것 을 선택할 것인가? 


3| 


@ 전통적인 인 프 라 의 관 점 으로 바 라 보 면 결코 저 렴 하 지 않은 4\/ ㅎ 


* 그러나 &\05 에 서 제 공 하 는 다양한 서 비 스 를 활 용 한다면 훨씬 


06\\5151 타 5 


비 용 / 시 간 효율적 


* 트래픽 증 감 에 따라 602 가 4410 50816; 정확히 사용한 것만 지 불 하여 비용 절감 


* 한 대 에 서 200 대 까지 668916 041 을 해 야 한다면 를 사용 
@ ㄷ 02 6856[「"60 17813106 요 금 제 로 비용 최적화 


＊ 급 격 하게 변하는 모바일 게임 시장, ^\\65 는 필 연 적 인 선택 


32 


해야 


그 06\\5151 타 5 


@ 전통적인 인 프 라 의 관 점 으로 바 라 보 면 결코 저 렴 하 지 않은 4\/ ㅎ 

* 그러나 405 에 서 제 공 하는 다양한 서 비 스 를 활 용 한다면 훨씬 비 용 / 시 간 효율적 

* [3\-85-\04-00 & 3\-[06『「-001\-'\/1131-+(04-456 의 51091 1161611090 

* 트래픽 증 감 에 따라 602 가 4410 50816; 정확히 사용한 것만 지 불 하여 비용 절감 
* 한 대 에 서 200 대 까지 50916 04[ 을 해 야 한 다면 ^4\'/ 은 를 사용해야 

* ㄷ 02165660060 105613006 요 금 제 로 비용 최적화 

* 급 격 하게 변하는 모바일 게임 시장, ^\\8 는 필 연 적 인 선택 


＊ 저 렴 하 고 확 장 성 있는 서 버 보다 성 공 하 는 게 임 을 만드는게 훨씬 어렵다. 


=2= ㅅ ^ ㅅ ㄴㄴ 


재미있는 게 임 을 만들 수 있도록 기 능 개발 자 체 에 투 자 를 해야. 


33 


35 


